泛化能力

LMMs

LMMs-Eval 是一个用于多模态AI模型的统一评估框架,提供标准化、广泛覆盖且成本效益高的性能评估解决方案。它支持超过50个任务和10多个模型,并通过透明和可复现的评估流程帮助研究者和开发者全面了解模型能力。LMMs-Eval 还引入了 LMMs-Eval Lite 和 LiveBench,分别通过精简数据集降低评估成本并动态更新评估数据集,以确保模型泛化能力的有效评估。

ViewCrafter

ViewCrafter是一种由北京大学、香港中文大学和腾讯合作开发的先进视频扩散模型。它能够从单一或少量图像中合成高质量的新视图,结合视频扩散模型和基于点的3D表示,通过迭代视图合成策略和相机轨迹规划生成多样化的视图。该模型在多个数据集上展示了强大的泛化能力和性能,适用于实时渲染、沉浸式体验及场景级文本到3D生成等多种应用场景。

SAM2Point

SAM2Point是一种基于SAM2的3D分割技术,无需额外训练或2D-3D投影,即可直接对任意3D数据进行零样本分割。该工具通过将3D数据体素化,并将其模拟为多方向视频流,实现精确的空间分割。SAM2Point支持多种3D提示类型,如点、框和掩码,展现了在多种场景下的泛化能力,包括3D物体、室内室外环境以及LiDAR数据,为未来的3D可提示分割研究提供了新起点。

TinyVLA

TinyVLA是一种轻量级的视觉-语言-动作(VLA)模型,专为机器人操控设计。它通过结合多模态模型和扩散策略解码器,实现了快速推理、数据高效和多任务学习的能力,并在泛化性能上表现优异。TinyVLA可应用于家庭、工业、服务等多个领域,具有广泛的实用价值。

F5

F5-TTS是一款由上海交通大学研发的高性能文本转语音(TTS)系统,采用流匹配与扩散变换器技术,支持多语言合成及情感控制等功能。它能够在无额外监督条件下生成高质量语音,适用于多种商业和非商业场景,如有声读物、语音助手、语言学习等。

Gen2Act

Gen2Act是一种基于预测网络生成人类视频的机器人操作策略,由谷歌、卡内基梅隆大学和斯坦福大学联合开发。它通过零样本视频生成、闭环策略执行和视觉特征提取等技术,实现了对未见过物体和动作的高效操作,支持复杂任务的长时执行,同时减少了对机器人数据采集的需求,广泛应用于家庭、工业、医疗和灾难救援等领域。

LOKI

LOKI是一个由中山大学与上海AI实验室联合推出的合成数据检测基准,用于评估大型多模态模型在识别视频、图像、3D模型、文本及音频等多模态合成数据方面的性能。它包含超过18,000个问题,涵盖26个子类别,支持多层次标注和细粒度异常注释,并通过自然语言解释增强模型的可解释性。LOKI还通过对比多种开源和闭源模型的表现,揭示了这些模型在合成数据检测任务中的优势与不足。

FabricDiffusion

FabricDiffusion是一项由谷歌与卡内基梅隆大学联合开发的高保真3D服装生成技术,可将2D服装图像的纹理和印花高质量地转移到3D服装模型上。其核心技术基于去噪扩散模型和大规模合成数据集,生成多种纹理贴图并支持跨光照条件的精准渲染,具备优秀的泛化能力和实际应用潜力,适用于虚拟试衣、游戏开发、影视制作及时尚设计等多个领域。

PixelWave Flux

PixelWave Flux.1-dev 03 是一款基于 FLUX.1-dev 模型优化的 AI 图像生成工具,具备卓越的模型泛化能力和细节处理能力。它支持多种艺术风格生成,如摄影、动漫等,同时通过微调提升了图像的写实性和审美质量。该工具采用混合精度训练和多分辨率采样技术,适用于艺术创作、游戏开发、电影制作及广告设计等多个领域。 ---

AlphaQubit

AlphaQubit是一款由谷歌推出的基于人工智能的量子错误解码工具,主要功能包括错误识别与纠正、基于AI的解码、性能优化以及泛化能力提升。它采用量子纠错码(如表面码)、神经网络架构(Transformer)及软读出技术,通过一致性检查与实验数据微调,实现对量子比特状态的高精度预测与校正。AlphaQubit可广泛应用于量子计算机开发、药物发现、材料设计、密码学及优化问题解决等场景。